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08.04.03 Fr/Pv 

ROBERT BOSCH GMBH, 70442 Stuttgart 



Vorrichtung und Verfahren zur Kalibrierung eines Bildsensors 
Stand der Technik 

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Bestimmung von 
Kalibrierparametem eines Bildsensors. 

Kraftfahrzeughersteller planen den Einsatz von Sensorik, insbesondere von Bildsensoren, zur 
Oberwachung des Innenraumes eines Kraftfahrzeuges. Vorgesehen ist die Verwendung von 
Bildsensoren bei der intelligenten Airbagsteuerung. Im Rahmen der intelligenten 
Airbagsteuerung wird an der Klassifikation der Sitzbelegung im Kraftfahrzeug gearbeitet, um 
beispielsweise Verletzungen bei Kleinkindem durch die AuslSsung des Airbags bei riickwarts 
eingebauten Kindersitzen zu verhiindem. Anderseits ist geplant, die Position von Korperteilen 
der Insassen, wie dem Kopf oder dem Rumpf, und/oder die Sitzhaltung der Insassen bezUglich 
des Airbags durch euie sogenannten „Out-of-Position Detektion" zu Uberwachen, um 
insbesondere Verletzungen durch zu dichte Positionierung des Kopfes am Airbagmodul bei 
dessen Ausl5simg zu verhindem. 

Beispielsweise ist aus der WO 01/60662 Al ein Verfahren und eine Vorrichtung zur 
Sitzbelegungserkennung mittels Videosensorik und FuBraumsensorik bekannt. Es wird 
vorgeschlagen, die Kopfhohe emer auf einem Sitz befindlichen Person mit der Videosensorik zu 
erfassen, zusammen mit der FuBraumsensorik eine Klassifikation der Sitzbelegung 
durchzufuhren und in AbhSngigkeit der Sitzbelegung den Airbag zu steuem. Hinweise auf eine 
Vorrichtung und ein Verfehren zur Bestimmung von Kalibrierparametem eines Bildsensors der 
Videosensorik fehlen in der WO 01/60662 Al. 
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Vorteile der Erfindung 

Die nachfolgend beschriebene Vorrichtung zur Bestimmung wenigstens eines 
Kalibrierparameters wenigstens eines Bildsensors, wobei bei einer erkannten Dekalibriening des 
wenigstens einen Bildsensors wenigstens eine Verarbeitungseinheit den wenigstens einen 
Kalibrierparameter in AbhMngigkeit von Bildsignalen bestimmt, die der wenigstens eine 
Bildsensor zumindest von wenigstens einem invarianten Muster ableitet, hat den Vorteil, dass 
eine Fehlfiinktion wenigstens eines Bildsensors infolge von Dekalibrierungen erkannt und 
zusatzlich automatisch korrigiert werden kann. Altemativ oder zusatzlich ist es vorteilhaft, eine 
erkannte Dekalibriening wenigstens einem nachfolgenden System und/oder dem Fahrer 
(Bediener) des Kraftfahrzeuges zu melden. Die automatische Oberwachung der Kalibrierung 
tragt in vorteilhafter Weise zu einer zuverlassigen Funktion von Bildsensoren bei und 
ermdgiicht hierdurch insbesondere einen Einsatz von Bildsensoren ftir sicherheitskritische 
Anwendungen im Krafifahrzeuginnenraum. 

Femer wird in vorteilhafter Weise der Au^and der Montage des wenigstens einen Bildsensors 
im Kraflfahrzeug durch die automatische Bestimmung wenigstens eines Kalibrierparameters 
verringert. Hierdurch entf^lt die Notwendigkeit spezielle Kalibrierverfahren wMhrend der 
Fertigung des Kraftfahrzeuges und/oder bei Reparaturarbeiten durchzufUhren. Femer tragt die 
Vorrichtung dazu bei, dass enge Fertigungstoleranzen, die ohne die nachfolgend beschriebene 
Vorrichtung zur Einhaltung von Kalibrierparametem spezifiziert werden mOssten, vergr6Bert 
werden k5nnen. Hieraus ergibt sich eine besonders vorteilhafte Kostensenkung bei der 
Fertigung und/oder der Reparatur eines Kraftfahrzeuges. Zusammenfassend ist die nachfolgend 
beschriebene Vorrichtung in vorteilhafter Weise fUr den Serieneinsatz von Bildsensoren bei 
sicherheitskritischen Anwendungen in Kraftfahrzeugen, insbesondere bei einer intelligenten 
Airbagsteuerung, geeignet, da Fehlfunktionen der Bildsensoren insbesondere in Form einer 
Dekalibrierung erkannt werden. 

Besonders vorteilhaft ist die Bildung des wenigstens einen invarianten Musters durch 
wenigstens ein zur Bestimmung des wenigstens einen Kalibrierparameters in der Szene 
angebrachtes Bezugsobjekt. Vorteilhaft ist die Nutzung von signalisierten Bezugsobjekten zur 
Kalibrierung wenigstens eines Bildsensors. Besonders vorteilhaft sind die signalisierten 
Bezugsobjekte im Innenraum von Kraftfahrzeugen. Signalisierte Bezugsobjekte haben den 



- 3 - 



R. 305506 



Vorteil, dass sie von der Sensorik einfach erfassbar sind und durch die Signalisierung mit 
Mitteln der Signalverarbeitung in den Messdaten zuverlassig identifizierbar sind. 

Vorteilhaft ist, wenn die Signalisierung der Bezugsobjekte durch eine besondere Heiligkeit 
erreicht wird, entweder aktiv durch Leuchtmittel, wie LED-Dioden und/oder Infrarot- 
Leuchtdioden, und/oder passiv durch OberflSchen hoher Reflektivitat 

(RUckstrahlungsvermogen, Albedo). Besondere Vorteile weisen daher Bezugsobjekte auf, die 
ais Leuchtmittei, insbesondere als Leuchtdiode (LED-Dioden), ausgestaltet sind und/oder die 
eine hohe Reflektivitat haben. Derart gestaltete Bezugsobjekte tragen zu einer einfachen 
Erfassbarkeit des wenigstens einen invarianten Musters durch die Verarbeitungseinheit bei. 

Femer ist von Vorteil, wenn die Signalisierung des v^renigstens einen Bezugsobjektes durch eine 
besondere Form erreicht wird. Besonders vorteilhaft sind Bezugsobjekte, die eine geometrische 
Form haben, wie beispielsweise einen Punkt und/oder einen Kreis und/oder ein Dreieck 
und/oder ein Viereck und/oder ein Quadrat. AJtemativ oder zusMtzlich sind Buchstaben und/oder 
SchriflzUge und/oder Logos als Bezugsobjekte vorteilhaft. Dies trjlgt zu einer einfachen 
Identifizierbarkeit des wenigstens einen invarianten Musters in den Bildsignalen bei. 

Vorteilhaft ist femer die Anordnung von Bezugsobjekten zu wenigstens einem 
zweidimensionalen (2D) und/oder wenigstens einem dreidimensionalen (3D) invarianten 
Muster, wobei das Muster eine geometrische Form, wie beispielsweise ein Kreuz und/oder ein 
Kreis und/oder einen Schriftzug, aufweist. Besonders vorteilhaft ist diese Variante der 
nachfolgend beschriebenen Vorrichtung in Verbindung mit signalisierten Bezugsobjekten, 
insbesondere mit durch Leuchtmittel, wie Leuchtdioden, signalisierten Bezugsobjekten. Dies 
trSgt dazu bei, dass das wenigstens eine invariante Muster durch die Verarbeitungseinheit 
einfach wiedererkannt und gegebenenfalls verschiedene invariante Muster voneinander 
unterschieden werden k5nnen. 

Besonders vorteilhaft ist, wenn das wenigstens eine Bezugsobjekt auf wenigstens einem 
bezOglich der t)berwachungsfiinktion des wenigstens einen Bildsensors relevanten Objekt der 
Szene angebracht ist. Insbesondere bei der Verwendung der Vorrichtung in einem Kraftfahrzeug 
ist es besonders vorteilhaft; wenn sich wenigstens ein bekanntes Bezugsobjekt und/oder ein 
invariantes Muster (Bezugsmuster) auf wenigstens einem fur eine jeweilige Anwendung 
relevanten Objekt, wie beispielsweise der Airbag-Klappe und/oder dem eigentlichen Airbag 
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und/oder dem Lenkrad, befindet. Dies ermoglicht die Abstandmessung zwischen wenigstens 
einem oder mehreren dieser relevanten Objekte und anderen, auch nicht signalisierten Objekten 
im BCraftfahrzeuginnenraum, ohne dass die Lage und Ausrichtung der Sensorik, also des 
wenigstens einen Bildsensors, zu diesem wenigstens einem relevanten Objekt a priori, 
beispielsweise durch Vermessung mit einem weiteren Sensor, bekannt sein muss. 

Vorteilhaft ist ferner, wenn das wenigstens eine invariante Muster altemativ oder zusMtzlich 
durch wenigstens ein naturlich vorkommendes Objekt der Szene gebildet wird. Besonders 
vorteilhaft ist, wenn zum Zweck der Kalibrierung die Lage von bauartbedingt im Kraftfahrzeug 
vorhandenen Objekten in den Bildsignalen tiberwacht und verfolgt wird. Bauartbedingt im 
Kraftfahrzeug vor^iandene Objekte sind beispielsweise wenigstens ein TOrholm und/oder 
wenigstens eine Armatur und/oder wenigstens ein Himmel des Kraftfahrzeugdaches. 

Vorteilhaft ist die nachfolgend beschriebene Vorrichtung zur Bestimmung wenigstens eines 
Kalibrierparameters wenigstens eines CMOS-Bildsensors und/oder wenigstens eines CCD- 
Bildsensors und/oder wenigstens eines monokularen Bildsensors und/oder wenigstens einer 
Stereokamera und/oder wenigstens eines tiefenbildgebenden Bildsensors. 

Die vorstehend beschriebenen Vorteile der Vorrichtung gelten entsprechend ftir das Verfahren 
zur Bestinunung wenigstens eines Kalibrierparameters wenigstens eines Bildsensors. 

Besonders vorteilhaft ist ein Computerprogramm mit Programmcodemitteln, um alle Schritte 
oder zumindest die wesentlichen Schritte des nachfolgend beschriebenen Verfahrens 
durchzufiihren, wenn das Programm auf einem Computer ausgeftihrt wird. Die Verwendung 
eines Computerprogramms ermSglicht die schnelle und kostengUnstige Anpassung des 
Verfahrens an unterschiedliche invariante Muster und/oder unterschiedliche Szenen, 
insbesondere unterschiedliche InnenrSume von Kraftfahrzeugen. 

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausflihrungsbeispielen 
mit Bezug auf die Figuren und aus den abhangigen Patentanspruchen. 



Zeichnung 
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Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten AusfUhrungsformen 
nSher erlautert. 



Es zeigen: 



Figur 1 eine tJbersichtszeichnung, 
Figur 2 ein Blockdiagramm, 

- Figur 3 eine Ubersichtszeichnung des bevorzugten Ausfiihrungsbeispiels, 
Figur 4 ein Ablaufdiagramtn, 

- Figur 5 eine Obersichtszeichnung eines weiteren Ausfuhrungsbeispiels. 

Beschreibung von AusfUhrungsbeispielen 

Nachfolgend werden eine Vorrichtung und ein Verfahren zur tJberwachung, Nachfiihrung und 
Bestimmung von wenigstens einem Kaiibrierparameter der geometrischen Kalibrierung von 
wenigstens einem Bildsensor beschrieben, wobei der wenigstens eine Bildsensor derart 
konfiguriert ist, dass er eine in Teilen gleichbleibende Szene aberwacht. In einem 
Ausffihrungsbeispiel wird der wenigstens eine Bildsensor zur Uberwachung des Innenraumes 
eines Kraftfahrzeuges verwendet. 

Beim Einsatz von Bildsensoren im Rahmen der intelligenten Airbagsteuerung im 
Fahrzeugtnnenraum, insbesondere bei der Klassifikation der Sitzbelegung und/oder der Out-Of- 
Fosition Detektion, ist die Herstellung einer geometrischen Lagerelation zwischen Messdaten 
und Fahrzeuginnenraum, also beispielsweise der Karosse und/oder dem Airbagmodul, 
notwendig. Hierzu sind zwei unterschiedliche Vorgehensweisen denkbar. Zum einen ist es 
raSglich, durch ein mathematisches Modell explizit die Messwerterfassung zu beschreiben. Das 
mathematische Modell enthalt .numerische Kaiibrierparameter, welche die Lage des wenigstens 
einen Bildsensors bezQglich des Kraftfahrzeuges beschreiben (extrinsische Kaiibrierparameter 
der extrinsischen Kalibrierung) und/oder numerische Kaiibrierparameter, welche die 
Messwerterfassung im wenigstens eine Bildsensor charakterisieren (intrinsischen 
Kaiibrierparameter der intrinsischen Kalibrierung). Intrinsische Kaiibrierparameter sind 
beispielsweise wenigstens eine Kamerakonstante und/oder wenigstens ein Kamerahauptpunkt 
und/oder wenigstens ein Verzeichnisparameter. Bei der zweiten Vorgehensweise erfolgt eine 
direkte Auswertung der Messdaten. beispielsweise ttber einen Klassifikator. Dabei existieren 
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explizit keine numerischen Kalibrierparameter im Gesamtsystem Bildsensor und Auswertung. 
Zur Klassifikation wird in der Verarbeitungseinheit ein lemfahiger Klassifikator, beispielsweise 
ein neuronales Netz, verwendet Der Klassifikator wird zunachst trainiert. Hierzu werden mit 
dem Sensor verschiedene Sitzbelegungen, beispielsweise Sitz leer und/oder Kindersitz, 
aufgenommen und zur Situation manuell die gewollten, korrekten Entscheidung, wie 
beispielsweise Sitz leer, gespeichert. Die Messdaten mit korrekter Entscheidung werden dem 
Klassifikator mitgeteilt, der hieraus Daten fur die Klassifikation extrahiert (Anlemen des 
neuronalen Netzes). Im spateren Einsatz wird der Klassifikator aus ankommenden Messdaten 
eine Entscheidung ableiten. Ober die Geometrie und die Kalibrierung weiB der Klassifikator 
nichts. Wenn der Bildsensor seine Lage im Kraftfahrzeug andert, ist nicht sichergestellt, dass 
der Klassifikator ohne emeutes Anlemen korrekte Ergebnisse liefert. Nach Inbetriebnahrae 
eines Bildsensors in einem Kraftfahrzeug zur tJberwachung des Innenraumes miissen 
entsprechend der beiden Vorgehensweisen entweder die Kalibrierparameter bekannt sein 
und/oder bestimmt werden oder es werden implizit die Eigenschaften der Messwerterfassung als 
bekannt und iiber den Einsatzzeitraum als unveranderlich vorausgesetzt. Diese Eigenschaften 
des wenigstens einen Bildsensors, dass eine explizit und/oder implizit bekannte geometrische 
Lagerelation zwischen den Messdaten und der iiberwachten Szene, insbesondere dem 
Innenraum des Kraftfahrzeuges, besteht, wird als geometrische Kalibrierung des wenigstens 
einen Bildsensors bezeichnet 

Die nachfolgend beschriebene Vorrichtung und das Verfahren leisten eine automatische 
Oberwachung und Erkennung von Dekalibrierung, beispielsweise durch Dejustage und/oder 
Anderungen in der Messwerterfassung, des wenigstens einen Bildsensors. Daneben ermSglichen 
die Vorrichtung und das Verfahren die automatische Bestimmung und/oder Nachfiihrung von 
wenigstens einem Kalibrierparameter des wenigstens einen Bildsensors wahrend des 
Sensorbetriebes. Fiir die automatische Oberwachung der Dekalibrierung und die Kalibrierung 
des wenigstens einen Bildsensors wird wenigstens ein spezielles signalisiertes Bezugsobjekt, 
das im bevorzugten Ausfiihrungsbeispiel im Innenraum eines Kraftfahrzeugs angebracht ist, 
und/oder wenigstens ein natUrlich vorkommendes Objekt der Szene, im bevorzugten 
Ausfuhrungsbeispiel wenigstens ein bauartbedingt im Kraftfahrzeug vorhandenes Objekt, als 
Bezugsobjekt verwendet. Die Bezugsobjekte werden mit dem wenigstens einen Bildsensor 
beobachtet. Femer werden die zu den Bezugsobjekten zugehorigen Messdaten des wenigstens 
einen Bildsensors ausgewertet, indem die Messdaten mit den Solldaten verglichen werden. 
Anhand der Differenz zwischen Messdaten und Solldaten wird die Funktion des wenigstens 



- 7 - 

R. 305506 

einen Bildsensors Oberwacht und/oder der wenigstens eine Bildsensor nach Bestimmung 
wenigstens eines Kalibrierparameters kalibriert. 

Figur 1 zeigt eine Ubersichtszeichnung das bevorzugten Ausfiihrungsbeispiels zur Eriauterung 
der Verwendung des Bildsensors 12, der zur tJberwachung des Innenraumes 28 eines 
Kraflfahrzeuges eingesetzt wird. Der Bildsensor 12 ist so im Bereich der Windschutzscheibe 30 
und des Daches 36 des Kraftfahrzeuges angebracht, dass der Bilderfassungsbereich des 
Bildsensors 12 den Innenraum 28 des Kraftfahrzeuges erfasst. Dabei nimmt der Bildsensors 12 
den Sitz 38, beispielsweise den Beifahrersitz, und/oder die Kopfstutze 40 auf. Femer erfasst der 
Bildsensor 12 gegebenenfalls eine nicht eingezeichnete Person und/oder andere Gegenstande im 
Innenraum 28, insbesondere auf dem Sitz 38. Der Bildsensor 12 ist uber eine Signalleitung 26 
niit einer Verarbeitungseinheit 14 verbunden. In der Figur 1 ist die Lage 30 des Bildsensors 12 
in Bezug zum Bezugssystem 32 des Kraitfahrzeugs dargestellt. Ferner zeigt die Figur 1 ein 
Airbagmodul 50, das zum Schutz von Personen im Innenraum 28 bei einem Unfall des 
Kraftfahrzeuges eingesetzt wird. 

Figur 2 zeigt ein Blockdiagramm der Figur 1, bestehend aus der zu aberwachenden Szene 10, 
dem Bildsensor 12 und einer Verarbeitungseinheit 14. Die zu uberwachende Szene 10 ist der 
Innenraum des Kraftfahrzeuges. Der Bildsensor 12 erzeugt aus der Lichtstrahlung 20 der zu 
aberwachenden Szene 10 Bildsignale 22. Die Bildsignale 22 werden als Messdaten uber die 
Signalleitung 26 nach Figur 1 zur Verarbeitungseinheit 14 Obertragen. In der 
Verarbeitungseinheit 14 wird zum einen das nachfolgend beschriebene Verfahren zur 
Bestimmung wenigstens eines Kalibrierparameters durchgeflihrt. Zum anderen findet in der 
Verarbeitungseinheit 14 die Verarbeitung der Bildsignale 22 des Bildsensors 12 statt, um die 
Oberwachungsfimktion des Bildsensors 12 zu erftiUen. Der Bildsensor 12 und die 
Verarbeitungseinheit 14 bilden das Messsystem 16. Im bevorzugten Ausfiihrungsbeispiel wird 
der Bildsensor 12 zur intelligenten Airbagsteuerung eingesetzt. Die Verarbeitungseinheit 14 
wertet die Bildsignale 22 aus, um Signale des Messsystems 24 uber eine Signalleitung an ein 
nachfolgendes System 18 zur Airbagsteuerung weiterzuleiten. Die Signale des Messsystems 24 
beinhalten Informationen zur Klassifikation der Sitzbelegung und/oder Daten Ober die Out-Of- 
Position Detektion von Personen auf den Sitzen des Kraftfahrzeuges. Die Obertmgung der 
Bildsignale 22 und/oder der Signale des Messsystems 24 auf den Signalleitungen erfolgt 
elektrisch und/oder optisch und/oder per Funk- In einer Variante des bevorzugten 
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Ausfiihrungsbeispiels ist der Bildsensor 12 und/oder die Verarbeitungseinheit 14 und/oder das 
nachfolgende System 18 in einer oder gegebenenfalls mehreren Einheiten realisiert. 

Figur 3 zeigt eine Obersichtszeichnung des bevorzugten Ausfiihrungsbeispiels mit einer 
Vorrichtung zurBestimmung wenigstens eines Kalibrierparameters des Bildsensors 12. Figur 3 
ist eine Erweiterung der Figur 1 . Im folgenden werden nur die zusStzlichen Teile der Figur 3 
erlautert. Im Innenraum 28 des Kraftfehrzeuges werden spezieli signalisierte Objelcte 42 so 
eingebracht, dass sie im Bilderfassungsbereich des Bildsensors sind. Signalisierte Objekte 42 
sind Objekte, die sich mit dem jeweiligen Sensorsystem, im bevorzugten Ausfiihrungsbeispiel 
dem Bildsensor 12, gut automatisch detektieren lassen. Im bevorzugten Ausfulirungsbeispiel 
werden Infrarot-Leuchtdioden (IR-Leuchtdioden) eingesetzt. Die Position der signalisierten 
Objekte 42 in den Messdaten (Bildsi^ale) des Bildsensors 12 (Videosensor) werden mit der 
SoUposition der signalisierten Objekte 42 in der Verarbeitungseinheit 14 vergiichen. Bei 
Abweichungen wird eine Dekalibriening erkannt. Femer wird die Position der signalisierten 
Objekte 42 in den Sensonnessdaten zur NachfUhrung und/oder Bestimmung von wenigstens 
einem Kalibrierparameter eingesetzt. In einer Variante des bevorzugten Ausfiihrungsbeispiels 
werden als signaUsierte Bezugsobjekte 42 Bezugsobjekte mit OberflSchen mit hoher 
Reflektivitat verwendet, Vorzugsweise werden signalisirate Bezugsobjekte 42 mit einer 
Reflektivitat zwischen 0,5 und 1,0 eingesetzt Die Synonyme Reflektivitat, RQckstrahlvermOgen 
und Albedo geben den Anteil der auf eine Oberflache einiallenden Strahlung an, die 
zurilckgestrahlt wird. Der Wert der Reflektivitat kann Werte zwischen 0 bis 1 annehmen, wobei 
ein Wert von 1 bedeutet, dass 100% der einfallenden Strahlung zuriickgestrahlt wird. Zusatzlich 
weisen die Bezugsobjekte gegebenenfalls eine geometrische Form auf. Als geometrische 
Formen werden beispielsweise wenigstens ein Punkt und/oder wenigstens ein Kreis und/oder 
wenigstens ein Dreieck und/oder wenigstens ein Viereck und/oder wenigstens ein Quadrat 
verwendet. Altemativ oder zusatzlich zu der geometrischen Form werden in weiteren Varianten 
als Bezugsobjekte wenigstens ein Buchstabe und/oder wenigstens ein Schriftzug und/oder 
wenigstens ein Logo verwendet. In einer weiteren Variante sind mehrere Bezugsobjekte 
altemativ oder zusatzlich zu einem 2D- oder 3D-Muster, beispielsweise wenigstens einem 
Kreuz und/oder wenigstens einem Kreis und/oder wenigstens einem Schriftzug, angeordnet. 
Femer sind die Bezugsobjekte und/oder die Muster altemativ oder zusatzlich auf wenigstens 
einem filr die jeweilige Anwendung relevanten Objekt, beispielsweise der Airbag-KIappe 
und/oder dem eigentlichen Airbag und/oder dem Lenkrad, angebracht Die Verarbeitungseinheit 
14 umfasst wenigstens einen Mikroprozessor und besteht aus mehreren in Figur 4 dargestellten 
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Modulen, die als Programme und/oder Programmschritte des wenigstens einen Mikroprozessors 
ausgestaltet sind. 

Figur 4 zeigt ein Ablaufdiagramm des Verfahrens des bevorzugten Ausfiihrungsbeispiels zur 
automatischen KontroUe und/oder Nachfuhrung und/oder Bestimmung wenigstens eines 
Kalibrierparameters der geometrischen Kalibrierung des wenigstens einen Bildsensors. Das 
Verfahren setzt Modellwissen 60 Uber die geometrische Lage von Bezugsobjekten im 
Innenraum des Kraflfahrzeuges und/oder uber die Sollwerte 64 der Messdaten des wenigstens 
einen Bildsensors der Bezugsobjekte des Innenraumes des Kraftfahrzeuges voraus. Wahrend 
des Einsatzes (Betrieb) werden die zu den bekannten Bezugsobjekten zugehorigen 
Sensormessdaten in Form von Bildsignalen 22 durch den Bildsensor 12 detektiert Die 
Sensormessdaten (Bildsignale 22) der Bezugsobjekte werden mit den Solldaten 64 im Modul 
zur Differenzbildung 66 verglichen und hieraus im Modul zur Bestimmung der Kalibrierdaten 
68 eine Dekalibrierung des Bildsensors erkannt und/oder es werden aus den Sensormessdaten 
(Bildsignale 22) der Bezugsobjekte wenigstens ein Kalibrierparameter Uber ein mathematisches 
Modell der Bildsensorabbildung bestimmt. Im Kraftfahrzeug-Innenraum sei ein euklidisches 
Koordinatensystem (Fahrzeugkoordinatensystem) definiert. Es gibt im Fahrzeug-Innenraum 
punktformige Bezugsobjekte Pi (i=l.,N) mit bekannten 3D-Koordinaten (xi, yi, zi). Weiterhin 
ist die SoUlage eines Bildsensors im 3D-Fahrzeugkoordinatensystem (extrinsische 
Kalibrierparameter) gegeben. Die Solllage besteht aus 6 Parametem, der Position des 
Projektionszentrums des Bildsensors im Kraftahrzeug: (tx, 1y, tz) und der Rotation zwischen 
Krafifahrzeug und Bildsensor, die mit den Drehwinkeln a, v|;, y, angegeben wird. Aus den 
Drehwinkeln ergibt sich die Rotationsmatrix 
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(1) 



Weiterhin sind die intrinsische Kalibrierparameter, die Kammerkonstanten c» Cy und die 
Koordinaten des Bildhauptpunktes xh, yu bekannt. Die Projektion der 3D-Koordinaten (xj, yi, Zi) 
der Punktobjekte in das Bild, in die Bildkoordinaten (x'i, y'O l^st sich mathematisch 
beschreiben mit: 



(2) 
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Ergebnis sind Sollkoordinaten x%i, y*si der punktfbrmigen Bezugsobjekte im Bild. Die Messung 
der punktfbrmigen Bezugsobjekte im Bild liefert die Bildkoordinaten x*Mi, y^Mi.. Die Distanz 
zwischen Solilage und Istlage 



wird fur die Erkennung der Dekalibrierung des Sensorsystems verwendet. Wenn Distanzen tiber 
einer vorgegebenen Schwelle liegen (dMSi>dMSixiax) dann liegt eine Dekalibrierung des 
Bildsensors vor. Fiir eine Korrektur der extrinslschen Kalibrierparameter (a, v|/, y, tx, ty, tz) des 
Bildsensors werden die Parameter (a, \|/, y, tx, ty, tz) variiert, so dass die Fehlerquadratsumme 
zwischen gemessenen Bildkoordinaten und projizierten Bildkoordinaten minimal wird: 



Die Bildkoordinaten x*(a, v|;, y, tx, ty, tz) bzw. y\a, \|/, y, tx, ty, tz) ergeben sich aus der obigen 
Projektionsvorschrift (2). 

Figur 5 zeigt eine Obersichtszeichnung eines weiteren Ausfiihrungsbeispiels mit einer 
Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters des Bildsensors 12. Figur 5 
ist eine Erweiterung der Figur 1. Im folgenden werden nur die zus^tzlichen Telle der Figur 5 
erlSutert. Zum Zweck der Oberwachung einer Dekalibrierung und/oder zur Bestimmung 
wenigstens eines Kalibrierpammeters der geometrischen Kalibrierung werden in diesem 
Ausfiihrungsbeispiel die Lage von bauartbedingt im Kraftfahrzeug vorhandenen Objekten in 
den Sensormessdaten uberwacht und verfolgt. Die bauartbedingt im Kraftfahrzeug vorhandenen 
Objekte, wie der TUrhoIm 44 und/oder der Himmel des Fahrzeugdaches 46 und/oder die 
Armatur 48, werden als Bezugsobjekte verwendet, wobei deren Lage in Abhangigkeit der 
Bildsignale des Bildsensors 12 vermessen und kontroUiert wird. Die Verarbeitungseinheit 14 
umfasst wie im bevorzugten Ausfiihrungsbeispiel nach Figur 3 wenigstens einen 
Mikroprozessor und besteht aus mehreren in Figur 4 dargestellten Modulen, die als Programme 
und/oder Programmschritte des wenigstens einen Mikroprozessors ausgestaltet sind. In einer 
weiteren AusfUhrungsform werden als Bezugsobjekte sowohl wenigstens ein zur Bestimmung 
des wenigstens einen Kalibrierparameters in der Szene angebrachtes Bezugsobjekt (ein 
signalisierendes Bezugsobjekt) und wenigstens ein naturlich vorkommendes Objekt der Szene, 
also ein bauartbedingt im Innenraum des Kraftfahrzeuges befindliches Objekt, verwendet. 




(3) 



-> min (4) 
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Die beschriebene Vorrichtung und das Veifahren zur Bestiinmung wenigstens eines 
Kalibrierparameters wenigstens eines Bildsensors, sind nicht auf den Einsatz in der 
Krafifahrzeugtechnik beschr^nkt. Vielmehr iSsst sich die beschriebene Vorgehensweise mit den 
entsprechenden Merkmalen auch auBerhalb der Kraft&hrzeugtechnik einsetzen. Voraussetzung 
ist lediglich, dass wenigstens ein Bildsensor derart konfiguriert ist, dass der wenigstens eine 
Bildsensor zur Oberwachung einer in Teilen gleichbleibenden Szene geeignet ist. Eine in Teilen 
gleichbleibende Szene zeichnet sich dadurch aus, dass die Teile der Szene zeitlich 
unver&iderlich sind. Solche Szenen treten beispielsweise in der Oberwachungstechnik und der 
Sicherheitstechnik auf. Bei der Oberwachung von Flughafen, Bahnhofen oder StraBen ist die 
Szene ebenfalls in Teilen gleichbleibend. Ein anderer Anwendungsfall ist die Uberwachung 
eines Raumes, beispielsweise eines Tresorraumes emer Bank, mit wenigstens einem Bildsensor. 
Auch diese Szenen sind in Teilen gleichbleibend. Femer iSsst sich das Verfahren bei wenigstens 
einem Bildsensor verwenden, der zur t)berwachung der Umgebung eines Kraftf^hrzeuges 
eingesetzt wird. Voraussetzung ist auch hier, dass Teile der Szene zeitlich unvertoderlich sind. 
Zeitlich unverMnderliche Teile liegen dann vor, wenn Bestandteile des Kraftfahrzeuges, 
beispielsweise die Motorhaube und/oder die Stofistange, im Bilderfassungsbereich des 
wenigstens einen Biidsensors liegen. 

In einer Variante der beschriebenen Vorrichtung und des Verfahrens ist wenigstens ein 
Bezugsobjekt auf wenigstens einem beziiglich der Oberwachungsfunktion des wenigstens einen 
Biidsensors relevanten Objekt der Szene angebracht. Relevante Objekte zeichnen sich dadurch 
aus, dass sie entweder direkt das Objekt der Oberwachimgsfunktion des wenigstens einen 
Biidsensors 12 sind oder altemativ oder zusStzlich indirekt fiinktional mit der 
Oberwachungsfunktion dfes Biidsensors verbunden sind. Im Bereich der Kraftfahrzeugtechnik 
sind die Airbagklappe ein Beispiel fUr ein relevantes Objekt, das indirekt fiinktional mit der 
Uberwachungsfunktion des Biidsensors verbunden ist. Obwohl der Bildsensor primSr zur 
Oberwachung der Belegungssituation der Sitze verwendet wird, ist die Oberwachungsfunktion 
funktional uber die Airbagsteuerung mit der Airbag-Klappe verbunden. Im Bereich der 
Sicherheitstechnik, beispielsweise bei der Oberwachung eines Tresorraumes einer Bank, ist der 
Tresor der Bank direkt das relevante Objekt der Oberwachungsfunktion des wenigstens einen 
Biidsensors. 

Die vorstehend beschriebene Vorrichtung und das Verfahren werden hi weiteren Varianten bei 
wenigstens einem oder mehr als einem Bildsensor angewendet. AIs Bildsensoren wird 
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wenigstens ein monokularer Bildsensor und/oder wenigstens eine Stereokamera und/oder 
wenigstens ein tiefenbildgebender Bildsensor verwendet. Stereokameras bestehen aus 
wenigstens zwei Bildsensoren, die im wesentlichen dieselbe Szene aufiiehmen. 
Tiefenbildgebende Bildsensoren sind Entfernungsbild-Sensor, beispielsweise Time-of-Flight 
optische Sensoren (range video camera). 
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Anspriiche 

1. Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines 
Bildsensors, 

- wobei der wenigstens eine Bildsensor eine in Teilen gleichbleibende Szene, 
insbesondere den Innenraumes eines Kraftfahrzeuges, Uberwacht, 
wobei wenigstens eine Verarbeitungseinheit in Abhangigkeit von Bildsignalen eine 
Dekalibrierung des wenigstens einen Bildsensors im Betrieb des wenigstens einen 
Bildsensors erkennt, 

wobei die wenigstens eine Verarbeitungseinheit bei einer erkannten Dekalibrierung die 
Dekalibrierung einem nachfolgenden System und/oder dem Fahrer meldet, und/oder den 
wenigstens einen Kalibrierparameter in AbhMngigkeit von den Bildsignalen bestimmt, 
wobei der wenigstens eine Bildsensor die Bildsignale zumindest von wenigstens einem 
invarianten Muster im Bilderfassungsbereich des wenigstens einen Bildsensors ableitet 

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das wenigstens eine invariante 
Muster durch wenigstens ein zur Bestimmung des wenigstens einen Kalibrierparameters in 
der Szene angebrachtes Bezugsobjekt gebildet wu-d. 

3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das wenigstens eine 
Bezugsobjekt ein Leuchtmittel ist, insbesondere dass das wenigstens eine Bezugsobjekt eine 
Infrarot-Leuchtdiode ist, und/oder dass das wenigstens eine Bezugsobjekt derart gestaltet 
ist, dass es eine hohe ReflektivitSt aufweist, insbesondere, dass es eine ReflektivitMt 
zwischen 0,5 und 1,0 aufweist. 
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Vorrichtung nach einem der Anspruche 2 bis 3, dadurch gekennzeichnet, dass das 
wenigstens eine Bezugsobjekt eine geometrische Form hat, beispielsweise ein Punkt 
und/oder ein Kreis und/oder ein Dreieck und/oder ein Viereck und/oder ein Quadrat, 
und/oder dass das wenigstens eine Bezugsobjekt wenigstens ein Buchstabe und/oder 
wenigstens ein Schriftzug und/oder wenigstens ein Logo ist. 

Vorrichtung nach einem der Anspruche 2 bis 4, dadurch gekennzeichnet, dass das 
wenigstens eine Bezugsobjekt auf wenigstens einem bezUglich der tJberwachungsfunktion 
des wenigstens einen Bildsensors relevanten Objekt der Szene angebracht ist, insbesondere, 
dass das wenigstens eine Bezugsobjekt auf wenigstens einer Airbag-Klappe und/oder 
wenigstens einem Airbag und/oder wenigstens einem Lenkrad im Innenraum des 
Kraftfahrzeuges angebracht ist. 

Vorrichtung nach einem der vorhergehenden Ansprtiche, dadurch gekennzeichnet, dass das 
wenigstens eine invariante Muster durch wenigstens ein natOrlich vorkommendes Objekt 
der Szene gebildet wird, insbesondere, dass das wenigstens eine invariante Muster durch 
wenigstens ein bauartbedingt im Innenraum eines Kraft&hrzeug befindliches Objekt 
gebildet wird. 

Verfahren zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines 
Bildsensors, 

wobei der wenigstens eine Bildsensor eine in Teilen gleichbleibende Szene, 
insbesondere den Innenraumes eines Kraftfahrzeuges, uberwacht, 

- wobei eine Dekalibrierung des wenigstens einen Bildsensors wMhrend des Betriebes des 
wenigstens einen Bildsensors in Abhangigkeit von Bildsignalen erkannt wird, 

- wobei bei emer erkannten Dekalibrierung die Dekalibrierung einem nachfolgenden 
System und/oder dem Fahrer gemeldet wird, und/oder der wenigstens eine 
Kalibrierparameter in Abhangigkeit von den Bildsignalen bestimmt wird, 

- wobei die Bildsignale zumindest von wenigstens einem invarianten Muster im 
Bilderfassungsbereich des wenigstens einen Bildsensors von dem wenigstens einen 
Bildsensor abgeleitet werden. 

Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Bildsignale zumindest von 
wenigstens einem zur Bestimmung des wenigstens einen Kalibrierparameters in der Szene 
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angebrachten Bezugsobjekt und/oder zumindest wenigstens einem natUrlich vorkommenden 
Objektes der Szene abgeleitet werden, wobei das wenigstens eine Bezugsobjekt 
insbesondere ein Leuchtmittel ist und/oder das wenigstens eine Bezugsobjekt eine hohe 
ReflektivitMt aufweist. 

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Bildsignale von zumindest 
wenigstens einem Bezugsobjektes abgeleitet werden, wobei das wenigstens eine 
Bezugsobjekt auf einem bezOglich der Oberwachungsfunktion des wenigstens einen 
Bildsensors relevanten Objekt der Szene angebracht ist, insbesondere, dass das wenigstens 
eine Bezugsobjekt auf wenigstens elner Airbag-Klappe und/oder wenigstens einem Airbag 
und/oder wenigstens einem Lenkrad im Innenraum des Krafifalirzeuges angebracht ist. 

10. Computerprogramm mit Programmcode-Mitteln, um alle Scbritte von jedem beliebigen der 
Anspruche 7 bis 9 durchzufUhren, wenn das Programm auf einem. Computer ausgefiihrt 
wird. 



- 16 - 



R. 305506 



08.04.03 Fr/Pv 

ROBERT BOSCH GMBH, 70442 Stuttgart 



Vorrichtung and Verfahren zur Kalibrierung eines Bildsensors 
Zusammenfassung 

Es werden eine Vorrichtung und ein Verfahren zur Oberwachung, Nachfiihrung und 
Bestimmung von wenigstens einem Kalibrierparameter der geometrischen Kalibrierung von 
wenigstens einem Bildsensor vorgeschlagen, wobei der wenigstens eine Bildsensor eine in 
Teilen gleichbleibende Szene ilberwacht. In einem Ausftihrungsbeispiel wird der wenigstens 
eine Bildsensor zur Cberwachung des Innenraumes eines Kraftfahrzeuges verwendet. 



(Figur 1) 
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